Loading...
机构名称:
¥ 1.0

受VIT的远程建模能力的启发,最近对大型内核卷积进行了广泛的研究和采用,以扩大接受场并提高模型性能,例如采用7×7深度卷积的非凡工作Convnext。尽管这种深度操作员只会消耗几个失败,但由于高内存访问成本,它在很大程度上损害了强大的计算设备的模型效率。例如,Convnext-t具有类似的Resnet-50拖鞋,但在A100 GPU上以完全精确的训练时,只能达到约60%的吞吐量。尽管减小Convnext的内核大小可以提高速度,但它会导致大量的性能退化,这带来了一个具有挑战性的问题:如何在保留其性能的同时加快基于大内核的CNN模型。为了解决这个问题的启发,我们建议将大内核深度卷积分解为沿Channel尺寸的四个平行分支,即小型平方内核,两个正交带内核和一个身份映射。通过这种新的深度卷积,我们建立了一系列的网络作品,即Incepitonnext,不仅享有高通量,而且还保持竞争性表现。例如,inceptionnext-t达到1。6×高训练的吞吐量高于Convnex-T,并且在Imagenet-1k上获得了0.2%的TOP-1准确性提高。我们的抗议inceptionNext可以作为未来建筑设计的经济基线,以减少碳足迹。

arxiv:2303.16900V2 [CS.CV] 2024年12月31日

arxiv:2303.16900V2 [CS.CV] 2024年12月31日PDF文件第1页

arxiv:2303.16900V2 [CS.CV] 2024年12月31日PDF文件第2页

arxiv:2303.16900V2 [CS.CV] 2024年12月31日PDF文件第3页

arxiv:2303.16900V2 [CS.CV] 2024年12月31日PDF文件第4页

arxiv:2303.16900V2 [CS.CV] 2024年12月31日PDF文件第5页

相关文件推荐

2025 年
¥11.0
2025 年
¥1.0